1. 19.1 马尔科夫链

1.1. 学习目标

• 知道什么是马尔科夫链

在机器学习算法中，马尔可夫链(Markov chain)是个很重要的概念。马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名。

1.2. 1 简介

马尔科夫链即为状态空间中从一个状态到另一个状态转换的随机过程。

• 该过程要求具备

  “无记忆”

  的性质：

  • 下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。

• 马尔科夫链作为实际过程的统计模型具有许多应用。

• 在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。

• 状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。

• 马尔可夫链的数学表示为：

• 既然某一时刻状态转移的概率只依赖前一个状态，那么只要求出系统中任意两个状态之间的转移概率，这个马尔科夫链的模型就定了。

1.3. 2 经典举例

下图中的马尔科夫链是用来表示股市模型，共有三种状态：牛市（Bull market）, 熊市（Bear market）和横盘（Stagnant market）。

每一个状态都以一定的概率转化到下一个状态。比如，牛市以0.025的概率转化到横盘的状态。

• 这个状态概率转化图可以以矩阵的形式表示。
• 如果我们定义矩阵阵P某一位置P(i, j)的值为P(j|i)，即从状态i变为状态j的概率。
• 另外定义牛市、熊市、横盘的状态分别为0、1、2，这样我们得到了马尔科夫链模型的状态转移矩阵为：

当这个状态转移矩阵P确定以后，整个股市模型就已经确定！

1.4. 3 小结

• 马尔科夫链即为

  • 状态空间中从一个状态到另一个状态转换的随机过程。

  • 该过程要求具备

    “无记忆”

    的性质：

    • 下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。